Năm 1947, ông trở về Sài Gòn để chăm sóc cha đang bệnh nặng. Tại đây, ông tổ chức các cuộc biểu tình của sinh viên Sài Gòn, đầu tiên là chống Pháp rồi sau chống Mỹ. Ông làm Thư ký cho Công ty Dầu lửa Caltex cho đến năm 1950.

Năm 1950, ông vào làm ở Sở thuế quan Sài Gòn. Thực chất lúc này ông được Việt Minh giao nhiệm vụ tìm hiểu tình hình vận chuyển hàng hóa, khí tài quân sự và quân đội từ Pháp sang Việt Nam và từ Việt Nam về Pháp. Đây là những bước đầu hoạt động tình báo đầu tiên của ông, một trong khoảng 14 ngàn điệp báo viên Cộng sản được cài cắm và hoạt động tại miền Nam Việt Nam.[2]

Năm 1952, ông ra Chiến khu D và được Bác sĩ Phạm Ngọc Thạch - Ủy viên Ủy ban Hành chánh Kháng chiến Nam Bộ - giao nhiệm vụ tình báo chiến lược.

Năm 1953 tại rạch Cái Bát, Cà Mau trong rừng U Minh, dưới sự chủ tọa của Lê Đức Thọ (khi này là Phó Bí thư kiêm Trưởng ban Tổ chức Trung ương Cục miền Nam), Phạm Xuân Ẩn được chính thức kết nạp vào Đảng Cộng sản Việt Nam.

Năm 1954 Phạm Xuân Ẩn bị gọi nhập ngũ và được trưng dụng ngay làm bí thư phòng Chiến tranh tâm lý trong Bộ Tổng hành dinh quân đội Liên hiệp Pháp tại Camp Aux Mares (thành Ô Ma). Chính tại đây, ông đã quen biết với Đại tá Edward Lansdale, Trưởng phái bộ quân sự đặc biệt của Mỹ (SMM), trên thực tế là người chỉ huy CIA tại Đông Dương cũng là trưởng phái đoàn viện trợ quân sự Mỹ (US.MAAG) ở Sài Gòn. Theo hồi ức của một số tướng lĩnh miền Nam Việt Nam, chẳng hạn như trong tư liệu Hồi ký Đỗ Mậu của Đỗ Mậu, nguyên trưởng cơ quan tình báo của miền Nam Việt Nam, thì Edward Lansdale là người trực tiếp vạch kế hoạch cũng như chủ trì việc thực hiện các công tác chủ yếu nhằm tạo uy tín, chỗ đứng cho Ngô Đình Diệm trong thời kì giữa thập niên 50. Khi nhận thấy mức độ khó khăn cũng như khối lượng công việc phải làm quá lớn, Ngô Đình Diệm có ý định từ bỏ chức Thủ tướng, chính Landsdale là người cố vấn cho Diệm không quyết định như vậy.

Năm 1955 theo đề nghị của phái bộ cố vấn quân sự Mỹ (lúc này đã chính thức thay Pháp đứng ra huấn luyện và xây dựng Quân lực Việt Nam Cộng hòa), Phạm Xuân Ẩn tham gia soạn thảo các tài liệu về tham mưu, tổ chức, tác chiến, huấn luyện, hậu cần cho quân đội. Đặc biệt ông cũng tham gia thành lập bộ khung của 6 sư đoàn bộ binh đầu tiên của Quân lực Việt Nam Cộng hòa mà nòng cốt là sĩ quan, hạ sĩ quan và binh lính người Việt trong quân đội liên hiệp Pháp trước đây.

Phạm Xuân Ẩn còn được giao nhiệm vụ hợp tác với Mỹ để chọn lựa những sĩ quan trẻ có triển vọng đưa sang Mỹ đào tạo (trong số này có Nguyễn Văn Thiệu, sau này trở thành Tổng thống Việt Nam Cộng hòa).

Trong công tác tình báo, để có thể đi khắp nơi và tiếp cận với những nhân vật có quyền lực nhất, tháng 10 năm 1957, theo sự chỉ đạo của Mai Chí Thọ và Trần Quốc Hương (Mười Hương, nguyên Bí thư Trung ương Đảng, Trưởng ban Nội chính Trung ương) Phạm Xuân Ẩn qua Mỹ học ngành báo chí tại Quận Cam, California, trong hai năm (1957-1959) và là người Việt Nam đầu tiên sang học báo chí tại quận Cam [3].

Tháng 10 năm 1959, Phạm Xuân Ẩn về nước, nhờ những mối quan hệ, ông được Trần Kim Tuyến, giám đốc Sở Nghiên cứu Chính trị Văn hóa Xã hội (thực chất là cơ quan mật vụ trực thuộc Phủ Tổng thống), biệt phái sang làm việc tại Việt tấn xã phụ trách những phóng viên ngoại quốc làm việc tại đây.

Từ năm 1960 đến giữa năm 1964, ông làm cho Hãng thông tấn Reuters.

Từ năm 1966 ông làm việc cho tuần báo Time, đến năm 1969 thì được nhận vào làm chính thức.[4]. Ngoài ra ông còn là cộng tác viên của các tờ báo khác như The Christian Science Monitor...

Từ khi ở Mỹ về nước cho đến năm 1975, với vỏ bọc là phóng viên, nhờ quan hệ rộng với các sĩ quan cao cấp, các nhân viên tình báo, an ninh quân đội và người của CIA, Phạm Xuân Ẩn đã có được mọi nguồn tin tức quan trọng từ quân đội, cảnh sát và cơ quan tình báo.

Những tin tức và phân tích tình báo chiến lược của Phạm Xuân Ẩn được bí mật gửi cho bộ chỉ huy quân sự ở miền Bắc thông qua Trung ương cục Miền Nam. Chúng được cho là sống động và tỉ mỉ đến mức người ta kể rằng Đại tướng Võ Nguyên Giáp đã reo lên: Chúng ta đang ở trong phòng hành quân của Hoa Kỳ[5]. Tổng cộng, Phạm Xuân Ẩn đã gửi về căn cứ 498 báo cáo bao gồm tài liệu nguyên gốc đã được sao chụp, các thông tin mà ông thu lượm cùng phân tích và nhận định của bản thân.Cụ thể là:

• Giai đoạn 1961-1965: những bản tài liệu nguyên bản về chiến lược chiến tranh đặc biệt như Tài liệu McGarr; tài liệu Staley, tài liệu Taylor, tài liệu Harkins; tài liệu Ấp chiến lược... Ông gửi về nguyên bản kế hoạch kế hoạch Staley-Taylor.
• Giai đoạn 1965 - 1968: các kế hoạch liên quan đến chiến lược chiến tranh cục bộ, phục vụ chiến thuật cho Mậu Thân 1968;
• Giai đoạn 1969 - 1973: những tài liệu liên quan đến chiến lược Việt Nam hoá chiến tranh
• Giai đoạn 1973 - 1975: hàng trăm bản tin nguyên bản "phục vụ trên hạ quyết tâm giải phóng miền Nam"...

Ông là nhân vật được chèo kéo của nhiều cơ quan tình báo, kể cả CIA.

Ngày 30 tháng 4 năm 1975, đã xảy ra chuyện ly kỳ theo báo Newsweek kể: "Thế là, vị trùm cảnh sát mật vụ Sài Gòn (bác sĩ Trần Kim Tuyến) đã được một điệp viên của Hà Nội cứu thoát, leo lên mái nhà để lên máy bay đi di tản.”[6],[7] Phạm Xuân Ẩn cũng là một trong những nhà báo chứng kiến sự kiện xe tăng của Quân đội Nhân dân Việt Nam húc đổ cổng dinh Độc Lập. Đến thời điểm đó cũng như một vài tháng sau, các đồng nghiệp phóng viên và những người thuộc chính quyền cũ cũng như chính quyền mới vẫn chưa biết ông là một điệp viên cộng sản. Từ ngày 23-4 vợ con ông đã được gửi sang Hoa Kỳ. Họ bay trên chuyến bay sơ tán thân nhân những người làm báo Time[6]. Theo kế hoạch của miền Bắc, ông sẽ được gửi sang Mỹ để tiếp tục hoạt động tình báo[5]. Tuy nhiên, ông đã đề nghị cấp trên cho ngừng công tác do đã hoàn thành nhiệm vụ. Kế hoạch thay đổi, vợ con ông đã phải mất một năm để quay lại Việt Nam theo đường vòng: Paris - Moskva - Hà Nội - Sài Gòn.